Brement tốt nghiệp Trường Brooklyn College với bằng Cử nhân Nghệ thuật và lấy bằng Thạc sỹ Nghệ thuật tại Đại học Maryland vào năm 1955. Ông thông thạo nhiều ngoại ngữ gồm tiếng Nga, tiếng Trung (tiếng Quan Thoại và tiếng Quảng Châu), tiếng Pháp, tiếng Tây Ban Nha, tiếng Iceland và tiếng Indonesia. Ông là Đại sứ Hoa Kỳ đầu tiên công khai nói chuyện với người dân Iceland bằng ngôn ngữ của họ. Brement đã lập gia đình và có ba đứa con.